Distribuzione a priori coniugata

Nell'ambito della teoria della probabilità bayesiana, se le distribuzioni a posteriori p(θ|x) sono nella stessa famiglia della distribuzione a priori p(θ), le due distribuzioni sono definite coniugate, e la distribuzione a priori è chiamata distribuzione a priori coniugata per la verosimiglianza. Per esempio, la famiglia della distribuzione gaussiana è coniugata a sé stessa (o auto-coniugata) rispetto ad una funzione di verosimiglianza gaussiana: se la funzione di verosimiglianza è gaussiana, scegliendo per la media una distribuzione a priori gaussiana assicurerà che anche la distribuzione a posteriori (della media) sarà ancora gaussiana. Questo significa che la distribuzione gaussiana è una distribuzione a priori coniugata per la verosimiglianza la quale è pure gaussiana. Il concetto, come pure il termine "distribuzione a priori coniugata" (conjugate prior), furono introdotti da Howard Raiffa e Robert Schlaifer nel loro lavoro sulla teoria delle decisioni bayesiana.^[1] Un concetto simile fu scoperto indipendentemente da George Alfred Barnard.^[2]

Consideriamo il problema generale di inferire una distribuzione per un parametro θ sulla scorta del dato o dei dati x. Dal teorema di Bayes, la distribuzione di probabilità a posteriori è uguale al prodotto della funzione di verosimiglianza ${\displaystyle \theta \mapsto p(x\mid \theta )}$ e della distribuzione di probabilità a priori p(θ), normalizzato (diviso) per la probabilità dei dati p(x):

${\displaystyle p(\theta |x)={\frac {p(x|\theta )\,p(\theta )}{\int p(x|\theta )\,p(\theta )\,d\theta }}.}$

Sia la funzione di verosimiglianza considerata fissata; la funzione di verosimiglianza è solitamente ben determinata in base ad ipotesi sul processo di generazione dei dati (ad esempio la verosimiglianza di dati relativi a misure di lunghezza può essere descritta nella maggior parte dei casi sperimentali da una funzione gaussiana oppure nel caso di dati relativi al getto ripetuto di una moneta da una funzione binomiale, ecc.). È chiaro che scelte distinte della distribuzione a priori p(θ) possono rendere l'integrale che esprime la distribuzione a posteriori più o meno difficile da calcolare, e il prodotto p(x|θ) × p(θ) può assumere un certo aspetto algebrico piuttosto che un altro. Per taluni scelte della distribuzione a priori, la distribuzione a posteriori ha la stessa forma algebrica (generalmente con differenti valori dei parametri della distribuzione). Tale tipo di scelta è una distribuzione a priori coniugata.

Una distribuzione a priori coniugata è conveniente dal punto di vista algebrico in quanto fornisce una espressione in forma chiusa per la distribuzione a posteriori: alternativamente può essere necessario il calcolo di un integrale numerico. Inoltre le distribuzioni a priori coniugate possono fornire delle intuizioni circa il modo con cui la funzione di verosimiglianza aggiorna la distribuzione a priori.

Tutti i membri della famiglia esponenziale hanno distribuzioni a priori coniugate. Cfr. Gelman et al.^[3] per una classificazione.